Parameter-Efficient Fine-Tuning (PEFT)のFL応用
from
FLにおける事前学習済みモデルの検討
Parameter-Efficient Fine-Tuning
(PEFT)のFL応用
PEFTは、モデルパラメータの大部分を凍結（固定）し、ごく一部（しばしば1%未満）のパラメータのみを学習対象とすることで、計算および通信コストを劇的に削減する 16。これにより、PTMの連合ファインチューニング（Federated Foundation Models, FedFM）が初めて実用的なものとなる
cf.
A Survey on Federated Fine-tuning of Large Language Models
LoRA-based PEFT
Adapter-based PEFT